Năm 1005 Lê Đại Hành chết, theo di chiếu của vua cha, hoàng tử thứ 3 là Lê Long Việt được lên nối ngôi lấy hiệu là Trung Tông. Nhưng sau đó một số hoàng tử khác nổi lên tranh ngôi và Trung Tông bị giết. Đại Việt sử ký toàn thư cho biết khi đó “Bầy tôi đều chạy trốn, duy có Điện tiền quân là Lý Công Uẩn ôm xác mà khóc” [3]. Riêng vợ con vua đã chạy đến cửa sông Cà Lồ thuộc vùng đất Lê Long Tung cai quản. Đặc biệt nơi này có thành Bình Lỗ của vua Lê Đại Hành, được xây dựng trong cuộc kháng chiến chống Tống lần thứ nhất.

Từ khi Lý Thái Tổ về Thăng Long (1010) thì không thấy Long Tung ở vùng Ngũ Huyện giang nữa. Riêng con của Lê Long Việt, do còn nhỏ nên ở lại và đã lập ra tại đây một dòng họ lớn[4].